使用 Delta Lake 选择性地覆盖数据

2023-11-26 02:42| 来源: 网络整理| 查看: 265

使用 Delta Lake 选择性地覆盖数据项目 10/10/2023

Azure Databricks 利用 Delta Lake 功能支持两种不同的选择性覆盖选项：

replaceWhere 选项以原子方式替换与给定谓词匹配的所有记录。可以根据表的分区方式使用动态分区覆盖来替换数据目录。

对于大多数操作，Databricks 建议使用 replaceWhere 来指定要覆盖的数据。

重要

如果意外覆盖数据，可以使用还原来撤消更改。

使用 replaceWhere 进行的任意选择性覆盖

可以有选择性地只覆盖与任意表达式匹配的数据。此功能适用于 Databricks Runtime 9.1 LTS 和更高版本中的数据帧，在 Databricks Runtime 12.0（不受支持）及更高版本的 SQL 中受支持。

以下命令以原子方式替换目标表中一月的事件，该表按照 start_date 分区，数据位于 replace_data 中：

Python (replace_data.write .mode("overwrite") .option("replaceWhere", "start_date >= '2017-01-01' AND end_date = '2017-01-01' AND end_date = '2017-01-01' AND birthDate = '2017-01-01' AND birthDate

【本文地址】

公司简介

联系我们